<!DOCTYPE HTML>
<html>

<head>
	<link rel="bookmark"  type="image/x-icon"  href="/img/logo.jpg"/>
	<link rel="shortcut icon" href="/img/logo.jpg">
	
			    <title>
    北望你的安
    </title>
    <meta charset="utf-8" />
    <meta name="viewport" content="width=device-width, initial-scale=1, user-scalable=no" />
    <link rel="stylesheet" href="/css/mic_main.css" />
    <link rel="stylesheet" href="/css/dropdownMenu.css" />
    <meta name="keywords" content="北望你的安" />
    
    	<script async src="//busuanzi.ibruce.info/busuanzi/2.3/busuanzi.pure.mini.js"></script>
	 
    <noscript>
        <link rel="stylesheet" href="/css/noscript.css" />
    </noscript>
    <style type="text/css">
        body:before {
          content: ' ';
          position: fixed;
          top: 0;
          background: url('/img/bg.jpg') center 0 no-repeat;
          right: 0;
          bottom: 0;
          left: 0;
          background-size: cover; 
        }
    </style>

			    
  


    <script src="/js/jquery.min.js"></script>
    <script src="/js/jquery.scrollex.min.js"></script>
    <script src="/js/jquery.scrolly.min.js"></script>
    <script src="/js/skel.min.js"></script>
    <script src="/js/util.js"></script>
    <script src="/js/main.js"></script>
	
</head>
    
		
<!-- Layouts -->



<!--  代码渲染  -->
<link rel="stylesheet" href="/css/prism_coy.css" />
<link rel="stylesheet" href="/css/typo.css" />
<!-- 文章页 -->
<body class="is-loading">
    <!-- Wrapper 外包 s-->
    <div id="wrapper" class="fade-in">
        <!-- Intro 头部显示 s -->
        <!-- Intro 头部显示 e -->
        <!-- Header 头部logo start -->
        <header id="header">
    <a href="/" class="logo">Krystalan</a>
</header>
        <!-- Nav 导航条 start -->
        <nav id="nav" class="special" >
            <ul class="menu links" >
			<!-- Homepage  主页  --> 
			<li >
	            <a href="/" rel="nofollow">主页</a>
	        </li>
			<!-- categories_name  分类   --> 
	        
	        <li class="active">
	            <a href="#s1">分类</a>
	                    <ul class="submenu">
	                        <li>
	                        <a class="category-link" href="/categories/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0/">强化学习</a></li><li><a class="category-link" href="/categories/%E6%95%B0%E5%AD%A6/">数学</a></li><li><a class="category-link" href="/categories/%E7%AE%97%E6%B3%95/">算法</a></li><li><a class="category-link" href="/categories/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86/">自然语言处理</a></li><li><a class="category-link" href="/categories/%E9%9A%8F%E7%AC%94/">随笔</a>
	                    </ul>
	        </li>
	        
	        <!-- archives  归档   --> 
	        
	        
		        <!-- Pages 自定义   -->
		        
		        <li>
		            <a href="/tags/" title="标签">
		                标签
		            </a>
		        </li>
		        
		        <li>
		            <a href="/gallery/" title="相册">
		                相册
		            </a>
		        </li>
		        


            </ul>
            <!-- icons 图标   -->
			<ul class="icons">
                    
                    <li>
                        <a title="github" href="https://github.com/krystalan" target="_blank" rel="noopener">
                            <i class="icon fa fa-github"></i>
                        </a>
                    </li>
                    
                    <li>
                        <a title="500px" href="https://www.zhihu.com/people/krystalzhu-an" target="_blank" rel="noopener">
                            <i class="icon fa fa-500px"></i>
                        </a>
                    </li>
                    
			</ul>
</nav>

        <div id="main" >
            <div class ="post_page_title_img" style="height: 25rem;background-image: url(/img/26.jpg);background-position: center; background-repeat:no-repeat; background-size:cover;-moz-background-size:cover;overflow:hidden;" >
                <a href="#" style="padding: 4rem 4rem 2rem 4rem ;"><h2 >信息论总结</h2></a>
            </div>
            <!-- Post -->
            <div class="typo" style="padding: 3rem;">
                <blockquote>
<p>信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。信息系统就是广义的通信系统，泛指某种信息从一处传送到另一处所需的全部设备所构成的系统。信息论是关于信息的理论，应有自己明确的研究对象和适用范围。<br>相关参考：<a href="https://zhuanlan.zhihu.com/c_174692306" target="_blank" rel="noopener">https://zhuanlan.zhihu.com/c_174692306</a></p>
</blockquote>
<h1 id="1-熵"><a href="#1-熵" class="headerlink" title="1. 熵"></a>1. 熵</h1><h2 id="1-1-信息量"><a href="#1-1-信息量" class="headerlink" title="1.1 信息量"></a>1.1 信息量</h2><p>在信息论中，一件低概率事件的发生带给人们的信息量要高于一件高概率事件发生所传递的信息量。例如如果清晨你在看到太阳从东边升起，你肯定不以为然了，它带给你的信息量是微乎其微的，而倘若某天你看到太阳从西边升起，那你会感到震惊，这是因为小概率事件发生了，它能够给你带来更多的信息量。用数学的角度去表达信息量是：<br><img src="/images/InformationTheory/1.jpg" alt="信息量">    </p>
<h2 id="1-2-熵"><a href="#1-2-熵" class="headerlink" title="1.2 熵"></a>1.2 熵</h2><p>熵就是某一随机事件的信息量期望。例如某个随机事件有两种可能结果，X1与X2，其中X1的发生概率是0.4，X2的发生概率是0.6，那么这个随机事件的熵就是0.4×X1事件的信息量+0.6×X2事件的信息量。<br>熵是描述随机变量不确定性的度量，一个随机变量不确定性越大则熵越大，即随机变量包含的信息量就越大。<br><img src="/images/InformationTheory/2.jpg" alt="熵"><br>熵从另一个角度上来讲是平均意义上对随机变量的编码长度，例如对抛掷一枚硬币这样的随机事件，用log2长度的编码即可，而对抛掷一枚筛子则需要用到log6长度的编码。 </p>
<h2 id="1-3-熵的性质"><a href="#1-3-熵的性质" class="headerlink" title="1.3 熵的性质"></a>1.3 熵的性质</h2><p>（1）熵是连续的：即f（p1，p2，…，pn）在pi上连续<br>（2）熵在等概率时是单调函数<br>（3）熵具有可加性：<br><img src="/images/InformationTheory/10.jpg" alt="熵的可加性">   </p>
<h1 id="2-分布间的距离度量"><a href="#2-分布间的距离度量" class="headerlink" title="2. 分布间的距离度量"></a>2. 分布间的距离度量</h1><h2 id="2-1-KL散度（相对熵）"><a href="#2-1-KL散度（相对熵）" class="headerlink" title="2.1 KL散度（相对熵）"></a>2.1 KL散度（相对熵）</h2><p>对同一随机变量有两个单独的概率分布，P（X）和Q（X）。<strong>在机器学习中，P往往用来表示样本的真实分布，Q用来表示模型所预测的分布</strong>，那么KL散度便可以计算两个分布的差异：<br><img src="/images/InformationTheory/3.jpg" alt="KL散度"><br>Q分布越接近P，则KL散度越小，因为对数函数是凸函数，故KL散度非负。有时也会称KL散度为KL距离，但它不满足距离性质：①不对称②不满足三角不等式。  </p>
<h2 id="2-2-JS散度"><a href="#2-2-JS散度" class="headerlink" title="2.2 JS散度"></a>2.2 JS散度</h2><p>JS散度也是用来衡量两个分布之间的差异的，它基于KL散度并且解决了KL散度的非对称问题。<br><img src="/images/InformationTheory/6.jpg" alt="JS散度">   </p>
<h2 id="2-3-Wasserstein距离（推土机距离）"><a href="#2-3-Wasserstein距离（推土机距离）" class="headerlink" title="2.3 Wasserstein距离（推土机距离）"></a>2.3 Wasserstein距离（推土机距离）</h2><p>在介绍Wasserstein距离之前，首先来说一下KL散度和JS散度的缺点：如果两个分布P、Q离得很远，完全没有重叠的时候，那么KL散度值是没有意义的（因为都是0），而JS散度则一直是个常数。这在学习算法当中是有缺陷的，因为会带来梯度消失问题。  </p>
<p>Wasserstein距离定义如下：<br><img src="/images/InformationTheory/7.jpg" alt="Wasserstein距离"><br>可以直观的看成把概率分布Q“搬到”P的最小代价。Wasserstein距离相比KL散度和JS散度的优越性在于即便这两个分布没有重叠，Wasserstein距离仍能够反映它们的远近。</p>
<h1 id="3-交叉熵"><a href="#3-交叉熵" class="headerlink" title="3. 交叉熵"></a>3. 交叉熵</h1><p>有KL散度公式推导可知：<br><img src="/images/InformationTheory/4.jpg" alt="KL散度推导"><br>该式左侧即为交叉熵，可以看出，PQ交叉熵=KL散度+P分布的熵。交叉熵公式：<br><img src="/images/InformationTheory/5.jpg" alt="交叉熵">   </p>
<p>注意：<br>（1）交叉熵&amp;KL散度<br>在机器学习任务当中，如果目标分布是不变的，则可用交叉熵为分类损失函数。而如果目标分布是有变化的，那么就要不能是用交叉熵，例如蒸馏模型的损失函数。</p>
<p>（2）交叉熵&amp;似然<br>区别：交叉熵函数描述的是模型预测分布和真实分布的差距大小，越大代表越不接近；似然函数的本质就是衡量在某个参数下，整体的估计和真实的情况一样的概率，越大代表越接近。<br>联系：最小化交叉熵函数的本质就是最大化对数似然函数。</p>
<h1 id="4-互信息"><a href="#4-互信息" class="headerlink" title="4. 互信息"></a>4. 互信息</h1><p><img src="/images/InformationTheory/8.jpg" alt="交叉熵"><br><img src="/images/InformationTheory/9.jpg" alt="交叉熵"><br>其中H（X）表示为原随机变量X的信息量，H（X|Y）为知道事实Y之后X的信息量。互信息I（X；Y）表示在知道事实Y之后，原来的信息量减少了多少。如果随机变量X与Y独立，那么互信息应为0。  </p>
<p>互信息&amp;信息增益<br>参考了两篇知乎的回答（<a href="https://www.zhihu.com/question/39436574" target="_blank" rel="noopener">https://www.zhihu.com/question/39436574</a> ）：  </p>
<blockquote>
<p>说“互信息”的时候，两个随机变量的地位是相同的；说“信息增益”的时候，是把一个变量看成减小另一个变量不确定度的手段。但其实二者的数值是相等的。<br>“互信息”或者“信息增益”经常作为决策树中选择特征的标准，两种称呼都很常见。  </p>
</blockquote>
<blockquote>
<p>一般情况下熵H(Y)与条件熵H(Y | X)之差称为互信息。<br>在决策树学习中的信息增益等价于训练数据集中类与特征的互信息。<br>两者只是具体的使用环境不同，称呼不同罢了。</p>
</blockquote>
<h1 id="5-联合熵-amp-条件熵"><a href="#5-联合熵-amp-条件熵" class="headerlink" title="5. 联合熵&amp;条件熵"></a>5. 联合熵&amp;条件熵</h1><p>联合熵就是度量一个联合分布的随机系统的不确定度：<br><img src="/images/InformationTheory/11.jpg" alt="联合熵"><br>可作如下推导：<br><img src="/images/InformationTheory/12.jpg" alt="联合熵"><br>其中H（Y|X）是条件熵，则有H（X，Y）=H（X）+H（Y|X），该式所表达的含义是：对一个含有两个随机变量的随机系统，我们可以先观察一个随机变量获取信息量，观察完后，我们可以在拥有这个信息量的基础上观察第二个随机变量的信息量。  </p>

            </div>

            <!-- Post Comments -->
            

        </div>
        <!-- Copyright 版权 start -->
                <div id="copyright">
            <ul>
                <li>&copy;2020 北望你的安. 版权所有</li>
            </ul>
            
                <span id="busuanzi_container_site_pv">本站总访问量<span id="busuanzi_value_site_pv"></span>次，</span>
				<span id="busuanzi_container_site_uv"> 访客数 <span id="busuanzi_value_site_uv"></span> 人. </span>
			
			<br>
			<span>友情链接：<a href='http://www.demilab.cn' target='_blank'>DEMI实验室</a>&nbsp;&nbsp;&nbsp;<a href='http://zd11024.cn/' target='_blank'>ZD</a></span>
        </div>
    </div>
</body>



 	
</html>
